Yarn HA

2019-04-02

Yarn HA

机器图

hadoop001:zk  rm(zkfc)  nm
hadoop002:zk  rm(zkfc)  nm
hadoop003:zk            nm

- 在yarn中zkfc是线程的形式
- rm状态存储在zk的/rmstore目录，我们称为RMStateStore

架构图

Yarn HA.png

- 流程
  - client发起请求
  - 按照命名空间顺序依次请求rm节点，直到请求到active节点
  - 

重点：
  - 1、启动时acticve节点会向zk写一个lock文件，所有的rm节点会一直监控lock文件
谁创建成功谁就是active节点
  - 2、NM节点不会向所有的RM节点汇报
  - 3、ZKFC是RM进程下的一个线程

补充

zkfc
  - 只作为RM进程的一个线程而非独立的进程存在
  - 监控zk集群的/rmstore是否存在lock文件

RMStateStotr
  - 存储在zk的/tmstore目录下
  - activeRM会向这个目录写APP信息
  - 当activeRM，节点挂了，另外一个RM节点通过ZKFC选举成为active
    会从/rmstore读取作业信息，重新构建作业的内存信息
    启动内部的服务，开始接受NM的心跳
    构建集群的资源信息，并且接口客户端的请求

RM
  - 启动时会向ZK的/rmstore目录写一个lock文件，写成功就为active，不成功就为standby
  - 所有的rm节点的zkfc线程都会监控zk集群的/rmstore是否存在lock文件，如果不存在就走上一步
  - 接收和监控nm的资源状况的汇报，负责资源的分配和调度
  - 启动和监控AM

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true